Detecting Inconsistencies in Model Specifications with LLM-as-Verifier Reasoning
用 LLM 验证推理检测模型规范中的不一致
🧭 LLM 规范审计与一致性验证
University of Virginia · University of Pennsylvania · The University of Texas at Austin
提出 VeriSpec，通过保留自然语言并用 LLM 作为验证器，直接审计模型规范文本以检测规则冲突
📌 工作参考价值（4 点）
- 电商/推荐系统中存在大量业务规则（合规、风控、用户体验、商业目标），这些规则可能在特定场景下冲突，可将规则文档视为规范，用 VeriSpec 的思路自动提取结构化规则并构造 topic-guided graph 聚类相关规则，再用 LLM 逐对/逐组验证冲突。
- 对于 Agent 或多智能体系统的策略规范，同样存在多策略冲突问题，可采用"保留自然语言 + LLM-as-verifier"的方式避免形式化损失，直接审计规范文本，提前发现策略缺陷，而不是等行为测试或线上事故。
- 在检索/推荐评估中，如果有多个评估标准或 rubric，也可以用该方法检测标准之间的不一致，提升评估体系的可靠性。
- 该方法成本较低（每个已验证不一致 $11.12），适合周期性对业务规则进行离线审计，作为规则上线前的检查步骤。